Questo file è la rielaborazione delle slide 03_Parte3.pdf

Calcolo combinatorio

Una delle cose più importanti che un informatico deve imparare a fare è contare o calcolare nel modo giusto, in particolare vogliamo essere in grado di contare il numero di oggetti o casi che ci interessano, senza doverli esplicitare uno per uno. Di seguito delle domande di esempio alla quale risponderemo dopo aver introdotto il calcolo combinatorio:

  • Domanda 1: Se sto scrivendo un programma che simula il poker, il mio programma deve fare in modo che la probabilità di un poker d’assi servito sia quella giusta. Ma qual è tale probabilità?
  • Domanda 2: Quanti sono i codici PIN di una carta bancomat a 5 cifre e quante sono le probabilità che un ladro riesca ad indovinare entro 3 tentativi? Risposta 2 Continuo
  • Domanda 3: Quante sono le possibili password fatte di 8 simboli alfa-numerici (maiuscole e minuscole sono diverse) e quanto tempo ci mette un programma che genera 1000 password al secondo a trovare quella giusta? Risposta 3
  • Domanda 4: Se dovessi scommettere che in un’aula con 20 persone, ce ne siano almeno 2 che fanno il compleanno lo stesso giorno, scommetterei di si oppure no? E se ce ne sono 30, 40, 50 o più di persone? Risposta 4
  • Domanda 5: Quante squadre di calcio diverse posso formare da un gruppo di 50 studenti?

Regola della somma

Questa regola ci dice che se vogliamo contare il numero di elementi dell’unione tra due insiemi ci basta sommare la cardinalità dei due insiemi.

  • Se denotiamo con tutte le lettere dell’alfabeto minuscole e con tutte le lettere dell’alfabeto maiuscole allora il numero di elementi di sarà uguale a e quindi

Regola del prodotto

Questa regola ci dice che se vogliamo contare quanti sono le possibili coppie di elementi, il primo scelto da e il secondo da ci basta fare .

  • Se denotiamo con tutte le lettere dell’alfabeto minuscole e con tutte le lettere dell’alfabeto maiuscole allora il numero di coppie possibili sono
    Più in generale se dobbiamo fare operazioni di scelta, tali che la prima si può fare in modi, la seconda in modi indipendenti dalla scelta precedenti, la i-esima in modi e quindi la k-esima in modi diversi allora il numero di scelte totali è

Avendo le definizioni di queste 2 regole possiamo rispondere parzialmente alle domande 2,3:

  • Risposta 2: i codici PIN di una carta bancomat a 5 cifre sono: ^fec4ef
  • Risposta 3: Le lettere dell’alfabeto sono i numeri sono quindi le cifre alfanumeriche prese in esame sono: ^a39c5a
    • le password fatte da 8 simboli alfanumerici quindi sono sono:
    • Un computer che genera 1000 password al secondo ci metterà circa 2,8 miliardi di secondi a generarle tutte

Disposizioni e combinazioni

La spiegazione teorica dell’immagine che vedi sotto la parte teorica qui è abbastanza inutile.

  • Se nell’esercizio che sto facendo l’ordine degli elementi è importante guardo le colonne dove “Ordine?” è SI.
  • Se nell’esercizio che sto facendo gli elementi possono essere reinseriti guardo le colonne dove “Reinserimento” è NO. Esercizio 1: Domino Esercizio 2: gruppi di persone Esercizio 3: parola di 4 lettere Esercizio 4: Gelato per tutti

Teorema binomiale

Il teorema binomiale è una formula che consente di elevare a qualsiasi numero un binomio così: Ovvero la sommatoria da fino a (l’esponente del binomio) della moltiplicazione tra


Pigeonhole principle

Nella sua forma più semplice, il Principio afferma che se dobbiamo fare entrare piccioni in una piccionaia che contiene cassette, allora almeno una cassetta dovrà contenere più di un piccione. Più in generale, se abbiamo oggetti da sistemare in m contenitori, allora almeno un contenitore dovrà contenere oggetti.

  • se in un cassetto abbiamo solamente calzini bianchi e neri, se peschiamo casualmente 3 volte un calzino, potremo sicuramente formare una coppia abbinata.

Probabilità discrete

Introduzione e formalizzazione matematica

Lo studio della probabilità nasce tra la fine del 16esimo e gli inizi del 17esimo secolo, da problemi legati al gioco d’azzardo.

  • Le probabilità sono definite su uno spazio di campioni .
  • Gli elementi di sono detti eventi elementari.
  • Ogni evento elementare è un sottoinsieme dello spazio dei campioni, inoltre ogni evento è sconnesso dagli altri.
  • è l’evento certo mentre l’insieme nullo è l’evento nullo. Per il lancio di due monete (costituite da testa e croce) lo spazio dei campioni è costituito da tutte le coppie che possono uscire (), ovvero , l’evento “si ottiene una testa e una croce” è composto dal sottoinsieme quindi 2/4 → ½ di probabilità. Da qui traiamo la definizione classica ed intuitiva della probabilità di verificarsi di un evento ovvero il rapporto tra i casi favorevoli ed il numero di casi totali la formalizzazione matematica sarebbe:

Formula generale per la probabilità

con la notazione si intende la probabilità che l’evento accada

  • Prendendo in esame l’esperimento del lancio del dado e l’evento “Esce un numero inferiore a 3” lo spazio dei campioni è costituito da tutte i possibili esiti del lancio, ovvero e gli esiti favorevoli sono solo ovvero . Quindi la probabilità di tale evento è .

Mutualmente esclusivi

Se due eventi A e B non hanno elementi in comune essi sono detti eventi disgiunti o mutualmente esclusivi perché l’occorrenza dell’uno esclude l’altro.

^81d10b

Definizione frequentista

La definizione classica non considerava la possibilità di eventi non equiprobabili (come un dato truccato ad esempio), fu Richard von Mises a definire la probabilità che accada un evento come il limite del rapporto tra il numero di volte in cui si è verificato l’esito (l’esito favorevole) e il numero degli esperimenti ovvero:

Formula frequentista per la probabilità

La definizione frequentista ha un problema di fondo insuperabile: non tutti gli esperimenti sono ripetibili e quindi alcune probabilità non sarebbero calcolabili. Da qui nasce la teoria della probabilità


Teoria della probabilità

Siano e due eventi qualsiasi definiti su uno spazio dei campioni . Di seguito gli assiomi della probabilità:

Assiomi della probabilità

  1. e

Il terzo assioma afferma che la probabilità che si verifichi o o è uguale alla probabilità di più la probabilità di meno la probabilità che si verifichino entrambe. Usando il formalismo logico questo assioma può essere riscritto così:

La distribuzione di probabilità è detta uniforme se tutti gli eventi sono equiprobabili


Probabilità condizionata e indipendenza

Il verificarsi di alcuni eventi può cambiare le probabilità che si verifichi un altro evento. La probabilità di un evento A, condizionata al verificarsi di un evento B (non nullo) è definita come:

Probabilità di A, dato B già verificato

Definendo questa cosa capiamo che due eventi si dicono indipendenti se:

  • Da questa definizione possiamo ricavarci la formula per calcolare la probabilità che e accadano in questo modo:

Probabilità che sia l'evento che l'evento accadano

É importante anche ricordare il concetto di indipendenza degli eventi, ovvero molti eventi anche se sembrano correlati sono completamente indipendenti

Esempio di indipendenza

Domanda: Lanciamo un dado 3 volte. La probabilità della sequenza è più alta della probabilità della sequenza ? Risposta: No, le due probabilità sono uguali. Infatti =


Regola di Bayes

Dalla definizione di probabilità condizionata, si ricava la regola di Bayes, importante in molti campi come quello dell’intelligenza artificiale. Come possiamo notare in questa immagine la probabilità di un evento A condizionata dal verificarsi di un evento B è uguale alla probabilità di un evento B condizionata da un evento A ovvero , da qui nasce la regola di Bayes ovvero:

Regola di Bayes

Arriviamo a questa formula in questo modo:

La regola di Bayes ci permette quindi di calcolare usando solo:

  • Esempio:
  • ; ; Quindi

Teorema della probabilità totale

Qualche volta il calcolo della probabilità di un evento deve mettere in conto più processi casuali.

Teorema: Sia A un evento e siano eventi mutuamente esclusivi tali che per ogni i ed inoltre

Formula della probabilità totale

ovvero la sommatoria di tutte le probabilità che A accada se accade

Dimostrazione Dal momento che gli eventi sono esaustivi ovvero almeno una di loro si deve verificare. Siccome sono anche mutualmente esclusivi la probabilità che si verifichi è la somma che sia che si verifichi ovvero:

  • Dalla definizione di probabilità condizionata sappiamo che per ogni i:
  • La formula che usiamo la ricaviamo in questo modo. A questo punto il teorema è dimostrato

Esempio:

Supponiamo di divedere un mazzo di carte (52 carte) in due mazzi:

  • con carte
  • con carte Supponiamo che in ci siano 3 dei 4 assi. Mentre in c’è il quarto asso. Scegliendo un mazzo a caso quale è la probabilità di pescare un asso? (definiamo questa probabilità con :
  • probabilità di scegliere tra i due mazzi.
  • probabilità di scegliere tra i due mazzi.
  • probabilità di prendere un asso scegliendo il mazzo
  • probabilità di prendere un asso scegliendo il mazzo per il teorema della probabilità totale:

Problemi d’urna

Tutti gli eventi che si possono formalizzare come “Estraiamo una o più palline numerate, da una o più urna” vengono detti Problemi d’urna. É importante che le estrazioni siano non truccate e che ogni estrazione sia indipendente dalla precedente. Le estrazioni da un’urna si possono classificare in 4 modi: Attraverso i problemi dell’urna possiamo rispondere alla seconda domanda iniziale: Risposta 2:

  • La probabilità di sbagliare il primo tentativo è
  • La probabilità di sbagliare il secondo tentativo è
  • La probabilità di sbagliare il terzo tentativo è la probabilità totale diventa:

Paradosso del compleanno

Di seguito risponderemo alla domanda 4 posta all’inizio, ovvero “Se dovessi scommettere che in un’aula con 20 persone, ce ne siano almeno 2 che fanno il compleanno lo stesso giorno, scommetterei di si oppure no? E se ce ne sono 30, 40, 50 o più di persone?“. In pratica ci stiamo chiedendo se dato un certo numero di persone la probabilità che 2 di esse facciano il compleanno lo stesso giorno sia maggiore di . Questo problema è noto con il nome di paradosso del compleanno non perché genera un paradosso ma perché la risposta è apparentemente controintuitiva.

TIP

Per il pigeonhole principle potremo dire che in un’aula con 366 persone di sicuro almeno 2 fanno il compleanno lo stesso giorno

Rispondiamo prima a “Qual è il numero minimo di persone presenti in un aula tale che la probabilità che due di esse siano nate lo stesso mese è maggiore di

TIP

Per il pigeonhole principle potremo dire che in un’aula con 13 persone di sicuro almeno 2 fanno il compleanno lo stesso mese

Assumiamo che sia uguale a . Quindi abbiamo tre persone , e ed ognuna di esse può essere nata in uno dei mesi. Il numero di terne ( {mese di nascita di , mese di nascita di , mese di nascita di } ) possibili è dato dal numero di disposizioni semplici ovvero (numero casi totali). Il numero di casi dove tutti e 3 i mesi sono diversi è:

  • Moltiplichiamo tutto per perché sono 6 le combinazioni che possiamo fare dati 3 mesi. La probabilità che tre persone siano nate in un mese diverso con è

Ritornando alla domanda inziale, dobbiamo prendere in esame i casi in cui in aula ci siano meno di 366 persone. Calcoliamo la probabilità che facciano tutti il compleanno in giorno diverso e partiamo dal caso peggiore ovvero un anno bisestile:

  • Se abbiamo su giorni possibili per la seconda, se devono essere giorni diversi. Quindi, la probabilità che siano nati in giorni diversi è .
  • Se abbiamo su giorni possibili per la seconda, e su per la terza, se devono essere giorni diversi. Quindi, la probabilità che siano nati in giorni diversi è

Formula paradosso del compleanno

Se abbiamo persone la formula che usiamo per calcolare la probabilità che siano nate in giorni diversi è:

  • Quindi la formula per calcolare la probabilità che almeno 2 persone facciano il compleanno lo stesso giorno è:

Esempio

Per = 23

Risposta 4: Dall’esempio qua sopra capiamo che basterebbero 23 persone scelte a caso per avere più del 50% di probabilità che 2 persone facciano il compleanno lo stesso giorno.


Variabile casuale o valore atteso

Variabile Casuale Una variabile casuale è una funzione che associa ad ogni risultato possibile di un esperimento casuale un numero reale. In altre parole, ogni volta che si verifica un evento nel contesto di un esperimento (per esempio, lanciando un dado), la variabile casuale restituisce un valore numerico. Un esempio classico è il lancio di un dado. In questo caso, la variabile casuale X può rappresentare il numero che appare sulla faccia del dado. Quindi, quando lanci il dado, X prenderà uno dei seguenti valori: 1, 2, 3, 4, 5 o 6.

Valore Atteso Il valore atteso (o media ponderata) di una variabile casuale è il valore medio che ti aspetti di ottenere se ripeti l’esperimento un numero molto grande di volte. È un concetto che descrive la “tendenza centrale” della variabile casuale.

Per calcolare il valore atteso di una variabile casuale X, moltiplichi ogni valore possibile che X può assumere per la probabilità che quel valore si verifichi e poi sommi tutti i risultati. La formula è la seguente:

Formula per il calcolo del valore atteso

Dove:

  • è un possibile valore che la variabile casuale può assumere.
  • è la probabilità che assuma il valore .

Lancio di un Dado

Nel caso del lancio di un dado, la variabile casuale rappresenta il numero che appare sulla faccia del dado. I possibili valori di sono 1, 2, 3, 4, 5, e 6, e ognuno ha una probabilità di di verificarsi, perché il dado è equilibrato. Per calcolare il valore atteso : Poiché la probabilità di ciascun numero è , otteniamo:

  • Semplificando, otteniamo:
  • Quindi, il valore atteso del lancio di un dado è 3.5. Questo significa che, in media, se lanci un dado un numero molto grande di volte, il valore medio dei risultati sarà 3.5.

Linearità del Valore Atteso Una delle proprietà importanti del valore atteso è che è lineare, cioè:

  • Questo significa che se hai due variabili casuali X e Y, e le sommi, il valore atteso della somma sarà la somma dei valori attesi delle singole variabili. Per esempio, supponiamo di avere due variabili casuali: X, che rappresenta il lancio di un dado, e Y, che rappresenta un altro lancio di dado. Se calcoliamo il valore atteso della somma , avremo: Poiché ciascun dado ha valore atteso 3.5, allora: . Quindi, se sommiamo i risultati di due lanci di dado, ci aspettiamo che la media dei risultati sia 7.

Esempio

Domanda: Se lanciamo 2 dadi, qual è il valore atteso del massimo dei 2 valori.

In questo caso abbiamo quindi 36 casi possibili :

  • Di coppie con “6” ne abbiamo 11
  • Di coppie con “5” ma senza “6” ne abbiamo 9
  • Di coppie con “4” ma senza “5” o “6” be abbiamo 7
  • Di coppie con “3” ma senza “4”, “5”, o “6” ne abbiamo 5
  • Di coppie con “2” ma senza “3”, “4”, “5” o “6” ne abbiamo 3
  • Di coppie con solo “1” ne abbiamo solo 1.

Quindi:


Prova di Bernoulli

La prova di Bernoulli è un esperimento probabilistico che ha esattamente due risultati: successo(p) o fallimento(q = 1 - p). Il numero atteso dei numeri di tentativi da fare per ottenere “successo” è dato da 1/p. Esempi:

Dunque la legge dei grandi numeri detta anche teorema di Bernoulli ci garantisce che la media dei risultati ottenuti dopo un grande numero di tentativi si avvicina al valore atteso, quindi se lanciamo all’infinito un dado, la media ottenuta sarà esattamente .


Giochi e paradossi probabilistici

Questo parte esplora quattro famosi paradossi probabilistici: il paradosso dei due bambini, il paradosso delle tre carte (o scatole), il paradosso dei tre prigionieri e il paradosso di Monty Hall.

1. Paradosso dei Due Bambini
  • Problema: Un professore di probabilità ha due figli. Uno di loro è un maschio. Qual è la probabilità che anche l’altro figlio sia maschio?
  • Soluzione: Ci sono quattro possibili combinazioni di genere per due figli: FF, FM, MF, MM. Sapendo che almeno uno è maschio, escludiamo FF. Rimangono tre possibilità: FM, MF, MM. Solo una di queste (MM) vede entrambi maschi. Quindi la probabilità è 1/3.

2. Paradosso delle Tre Carte (o Scatole)
  • Problema (Versione Carte): Ci sono tre carte: una rossa su entrambi i lati (R), una bianca su entrambi i lati (B) e una rossa da un lato e bianca dall’altro (M). Si sceglie una carta a caso e si mostra un lato. Se il lato visibile è rosso, qual è la probabilità che anche l’altro lato sia rosso?
  • Problema (Versione Scatole): Ci sono tre scatole: una con due monete d’oro (G2), una con due monete d’argento (A2) e una con una moneta d’oro e una d’argento (AG). Si sceglie una scatola a caso e si estrae una moneta. Se la moneta estratta è d’oro, qual è la probabilità che anche l’altra moneta nella scatola sia d’oro?
  • Soluzione: Concentrandoci sulla versione delle carte, ci sono sei possibili scenari considerando entrambi i lati di ogni carta (Ra, Rb, Ma, Mb, Ba, Bb). Se il lato visibile è rosso, le possibilità sono Ra, Rb, Ma. Di queste, due (Ra, Rb) hanno anche l’altro lato rosso. Quindi la probabilità è 2/3.

3. Paradosso dei Tre Prigionieri
  • Problema: Tre prigionieri (A, B, C) sono condannati a morte. Il re ne grazierà uno a caso. Il carceriere sa chi sarà graziato. A chiede al carceriere di dirgli quale tra B e C sarà giustiziato. Il carceriere dice che sarà giustiziato B. A pensa che ora la sua probabilità di essere graziato sia aumentata da 1/3 a 1/2.
  • Soluzione: Prima della risposta del carceriere, la probabilità di A di essere graziato è 1/3. Ci sono due scenari in cui il carceriere dice che B sarà giustiziato:
    • C è graziato (probabilità 1/3).
    • A è graziato e il carceriere sceglie B a caso (probabilità 1/3 * 1/2 = 1/6). La probabilità totale che il carceriere dica che B sarà giustiziato è 1/3 + 1/6 = 1/2. Dato che il carceriere ha detto che B sarà giustiziato, la probabilità che C sia graziato è (1/3) / (1/2) = 2/3, mentre la probabilità che A sia graziato è (1/6) / (1/2) = 1/3. Quindi A si sbaglia.

4. Paradosso di Monty Hall
  • Problema: Ci sono tre porte. Dietro una c’è un’auto, dietro le altre due ci sono delle capre. Il concorrente sceglie una porta. Il conduttore (che sa dove si trova l’auto) apre una delle altre due porte, rivelando una capra. Il conduttore offre al concorrente la possibilità di cambiare la sua scelta con la porta rimanente. Conviene cambiare?
  • Soluzione: Sì, conviene cambiare. Inizialmente, la probabilità di scegliere la porta con l’auto è 1/3. Quindi, la probabilità che l’auto sia dietro una delle altre due porte è 2/3. Quando il conduttore apre una porta con una capra, quella probabilità (2/3) si concentra sulla porta rimanente.

Domanda Finale
  • Problema: Ci sono 10 buste, una contiene un milione di euro, le altre sono vuote. Si sceglie la busta numero 1. Conviene scambiarla con le altre 9? E se qualcuno apre 8 delle altre 9 buste, rivelando che sono vuote, conviene scambiare la busta 1 con l’unica rimasta?
  • Risposta: Inizialmente, la probabilità di avere il milione è 1/10. Scambiare con le altre 9 aumenta la probabilità a 9/10. Dopo che 8 buste vuote sono state aperte, la probabilità che il milione sia nella busta rimanente è diventata 9/10, mentre la probabilità che sia nella busta 1 è ancora 1/10. Quindi, conviene decisamente scambiare.

Questo riassunto fornisce una panoramica dei concetti chiave discussi nel documento, evidenziando i problemi, le soluzioni e le logiche alla base di ciascun paradosso.